LoRi: Destilación de Bajo Rango para Razonamiento Implícito
Descubre LoRi, un método que utiliza destilación de bajo rango para mejorar el razonamiento implícito en modelos de lenguaje, superando a técnicas anteriores.
#bajo rango
TailLoR: Protegiendo Componentes Principales en Aprendizaje Continuo
Descubre TailLoR, un método que protege los componentes principales usando descomposición espectral para un aprendizaje continuo eficiente y sin interferencias.
OLIVE: Aprendizaje incremental online bajo rango para exoesqueletos adaptativos
OLIVE: aprendizaje incremental de bajo rango para exoesqueletos. Logra 13% más suavidad, 22% menos esfuerzo y mayor estabilidad en terrenos. ¡Descúbrelo!
TLA-Prover: Síntesis verificable de TLA+ con optimización por preferencias
Descubre TLA-Prover, el modelo de IA que sintetiza especificaciones TLA+ verificables con un 30% de tasa de éxito, superando en 3.5x a los modelos previos.
Compresión de bajo rango guiada por Pareto y activaciones para LLM/VLM
Optimiza LLM/VLM con compresión de bajo rango informada por activaciones y guiada por Pareto. Logra mayor eficiencia sin sacrificar precisión.
Recover-LoRA: Recuperando precisión en cuantización agresiva de 2 bits
Recover-LoRA recupera hasta 95% de precisión en modelos de 2 bits usando adaptación de bajo rango y destilación con solo 10k datos sintéticos.
Recover-LoRA: Recuperando precisión en modelos de 2 bits
Recover-LoRA recupera hasta un 95% de precisión en modelos de lenguaje cuantizados a 2 bits usando destilación de conocimiento con datos sintéticos. Ideal para despliegue en edge.
Tomografía por diseño: enfoque algebraico para estados cuánticos de bajo rango
Nuevo algoritmo algebraico para tomografía de estados cuánticos de bajo rango, usando observables. Eficiente y con garantías deterministas.
Hyper-ICL: Destilación Hiperbólica para Aprendizaje Multimodal en Contexto
Descubre Hyper-ICL, un método ligero que elimina la necesidad de demostraciones en ICL multimodal, calibrando la atención con destilación hiperbólica para mejorar precisión y estabilidad.
Completación de Matrices Distribucionales de Bajo Rango
Descubre cómo completar matrices de distribuciones de probabilidad usando técnicas de bajo rango y embeddings kernel. Un nuevo enfoque con garantías estadísticas.
LimiX-2M: Mitigando colapso de bajo rango y cuellos de botella
Descubre LimiX-2M, un modelo de 2M parámetros que supera a alternativas más grandes mediante tokenización avanzada y enrutamiento optimizado. Reduce costos y mejora precisión en datos tabulares.
Decaimiento de bajo rango para grokking en transformers invariantes a escala
Descubre cómo el decaimiento de bajo rango (LRD) acelera el grokking en transformers invariantes a escala, comprimiendo valores singulares.
SDPLR+: Solucionador SDP escalable de bajo rango
Descubre SDPLR+: resuelve SDP con millones de variables usando límites de suboptimalidad y bajo rango. Más rápido y escalable.
RNN factorizado de bajo rango para dinámicas neuronales independientes
Descubre cómo el nuevo modelo FacRNN desenreda dinámicas neuronales latentes para una interpretabilidad sin precedentes en neurociencia computacional.
Múltiples opciones en modelos de lenguaje con adaptadores de bajo rango
Descubre cómo LoRA-MCL genera múltiples continuaciones de texto diversas y relevantes usando adaptadores de bajo rango. Ideal para subtitulado y traducción.
Bloqueo de signos: persistencia y cuello de botella sub-bit
Los signos de pesos inicializados persisten y crean un cuello de botella en compresión sub-bit. Descubre la teoría de bloqueo de signos y un nuevo método.
Algoritmo de gradiente no monótono para NMF simétrica y clustering
Algoritmo SNMPBB: gradiente no monótono para NMF simétrica. 6x más rápido que alternativas y superior en clustering de grafos. ¡Optimiza!
Compress then Merge: cómo fusionar LoRAs en un único adaptador
Descubre cómo fusionar múltiples LoRAs en un solo adaptador de bajo rango con Compress-then-Merge, mejorando eficiencia y rendimiento sin perder estructura.
SALAAD: Adaptación dispersa y de bajo rango con ADMM para inferencia de LLM
Descubre cómo SALAAD reduce el consumo de memoria en modelos de lenguaje grandes usando estructuras dispersas y de bajo rango, permitiendo un despliegue flexible sin reentrenamiento.
FlexRank: Descomposición Anidada de Bajo Rango para Despliegue Adaptativo
FlexRank extrae submodelos de capacidad variable de modelos sin reentrenar. Optimiza costos y rendimiento para despliegue adaptativo a todo presupuesto.